10.大模型推理框架

2023年openAi直接带动了大模型的整体行业发展，现在整理了常用的大模型推理的知识点和文章。

推理框架

1. FasterTansformer (opens new window)
2. LLama FasterTranformer (opens new window)
3. 模型部署与推理(框架工具-Triton Server、RayLLM、OpenLLM) (opens new window)
4. LmDeploy部署大模型
5. LLM推理后端性能大比拼，来自BentoML团队的深度评估！ (opens new window)
6. 从头讲解vLLM推理加速原理 (opens new window)
7. Olama现已作为官方Docker镜像提供 (opens new window)
8. Ollama框架 (opens new window)
9. 大语言模型（LLM）推理性能优化以及推理框架、后端的评测 (opens new window)

大模型部署

1. 基于 Docker 的深度学习环境：入门篇 (opens new window)
2. 使用 Docker 快速上手官方版 LLaMA2 开源大模型 (opens new window)